Giả Tự Đạo là con trai của chế trí sứ Hoài Đông Giả Thiệp[2], mẫu thân là Hồ thị. Hồ thị vốn không phải là vợ của Giả Thiệp, mà lấy một người khác. Một hôm ra sông giật áo thì thấy quan quân đang qua sông, trong đó có Giả Thiệp. Hai người vừa gặp đã yêu, sau đó thì Hồ thị sinh ra Tự Đạo. Về sau Giả Thiệp mới bỏ tiền mua Hồ thị về, do vậy đứa con sinh ra mới được mang họ Giả.

Giả Tự Đạo từ nhỏ đã là kẻ vô lại, thích ăn chơi, cờ bạc rượu chè kĩ nữ, không gì là chưa động đến. Bấy giờ có người quen là Từ Vị Lễ đến nhà, nhìn thấy Tự Đạo thì rất kinh ngạc, nói với Hồ thị rằng về sau rủi lắm thì Tự Đạo cũng làm được thái thú. Lại có một thầy tướng số nọ, gặp lúc Tự Đạo trượt chân ngả lộ ra đôi bàn chân, mới than rằng Tự Đạo có tướng cực quý, nhưng lòng bàn chân có hình con khỉ, e sau này có lúc phải đi xa vạn dặm.

Ban đầu Tự Đạo theo lệ phụ ấm được bổ nhiệm làm Gia Hưng tư thương[2]. Chị của Tự Đạo được tiến cung và được Tống Lý Tông sủng ái, sắc phong làm quý phi, do vậy Tự Đạo thăng tiến nhanh chóng, được phong Thái thường thừa, Quân khí giám. Năm 1234, tháng 3 ÂL được phong làm Tịch Điền lệnh[3]. Tự Đạo vẫn không bỏ thói cũ, suốt ngày lêu lổng, thường cùng bọn kĩ nữ dạo chơi ở Tây Hồ. Một hôm Lý Tông nhân lên lầu xem phong cảnh thì bắt gặp cảnh ấy, bèn nói

Rồi sai Sử Nham Chi răn đe Tự Đạo. Nham Chi vốn sợ thế Giả quý phi, nên mới nói rằng

Lý Tông tin là thật, từ đó có ý dùng Tự Đạo. Sau đó Tự Đạo được bổ nhiệm làm tri Lễ châu